Generative models learned from training using deep learning methods can be used as priors in inverse under-determined inverse problems, including imaging from sparse set of measurements. In this paper, we present a novel hierarchical deep-generative model MrSARP for SAR imagery that can synthesize SAR images of a target at different resolutions jointly. MrSARP is trained in conjunction with a critic that scores multi resolution images jointly to decide if they are realistic images of a target at different resolutions. We show how this deep generative model can be used to retrieve the high spatial resolution image from low resolution images of the same target. The cost function of the generator is modified to improve its capability to retrieve the input parameters for a given set of resolution images. We evaluate the model's performance using the three standard error metrics used for evaluating super-resolution performance on simulated data and compare it to upsampling and sparsity based image sharpening approaches.
translated by 谷歌翻译
自动目标识别(ATR)算法将给定的合成孔径雷达(SAR)图像分类为已知的目标类之一,使用一组可用于每个类的训练图像。最近,如果有丰富的训练数据可用,在类中均匀地采样及其姿势,则已经显示出学习方法可以实现最先进的分类精度。在本文中,我们考虑了ATR的任务,其中一组培训图像有限。我们提出了一种数据增强方法,以结合域知识并提高数据密集型学习算法的概括能力,例如卷积神经网络(CNN)。提出的数据增强方法采用有限的持久性稀疏建模方法,利用广角合成孔径雷达(SAR)图像的普遍观察到的特征。具体而言,我们利用空间结构域中的散射中心的稀疏性以及方位角域中散射系数的平滑结构,以解决过度分析模型拟合的缺陷问题。使用此估计的模型,我们合成了给定数据中没有可用的姿势和子像素翻译的新图像来增强CNN的培训数据。实验结果表明,对于训练数据饥饿的区域,提出的方法为结果ATR算法的泛化性能提供了显着增长。
translated by 谷歌翻译
Conditional diffusion probabilistic models can model the distribution of natural images and can generate diverse and realistic samples based on given conditions. However, oftentimes their results can be unrealistic with observable color shifts and textures. We believe that this issue results from the divergence between the probabilistic distribution learned by the model and the distribution of natural images. The delicate conditions gradually enlarge the divergence during each sampling timestep. To address this issue, we introduce a new method that brings the predicted samples to the training data manifold using a pretrained unconditional diffusion model. The unconditional model acts as a regularizer and reduces the divergence introduced by the conditional model at each sampling step. We perform comprehensive experiments to demonstrate the effectiveness of our approach on super-resolution, colorization, turbulence removal, and image-deraining tasks. The improvements obtained by our method suggest that the priors can be incorporated as a general plugin for improving conditional diffusion models.
translated by 谷歌翻译
Generating photos satisfying multiple constraints find broad utility in the content creation industry. A key hurdle to accomplishing this task is the need for paired data consisting of all modalities (i.e., constraints) and their corresponding output. Moreover, existing methods need retraining using paired data across all modalities to introduce a new condition. This paper proposes a solution to this problem based on denoising diffusion probabilistic models (DDPMs). Our motivation for choosing diffusion models over other generative models comes from the flexible internal structure of diffusion models. Since each sampling step in the DDPM follows a Gaussian distribution, we show that there exists a closed-form solution for generating an image given various constraints. Our method can unite multiple diffusion models trained on multiple sub-tasks and conquer the combined task through our proposed sampling strategy. We also introduce a novel reliability parameter that allows using different off-the-shelf diffusion models trained across various datasets during sampling time alone to guide it to the desired outcome satisfying multiple constraints. We perform experiments on various standard multimodal tasks to demonstrate the effectiveness of our approach. More details can be found in https://nithin-gk.github.io/projectpages/Multidiff/index.html
translated by 谷歌翻译
近年来,基于神经网络的深度恢复方法已实现了最先进的方法,从而导致了各种图像过度的任务。但是,基于深度学习的Deblurring网络的一个主要缺点是,训练需要大量模糊清洁图像对才能实现良好的性能。此外,当测试过程中的模糊图像和模糊内核与训练过程中使用的图像和模糊内核时,深层网络通常无法表现良好。这主要是因为网络参数在培训数据上过度拟合。在这项工作中,我们提出了一种解决这些问题的方法。我们将非盲图像脱毛问题视为一个脱氧问题。为此,我们在一对模糊图像上使用相应的模糊内核进行Wiener过滤。这导致一对具有彩色噪声的图像。因此,造成造成的问题被转化为一个降解问题。然后,我们在不使用明确的清洁目标图像的情况下解决了降解问题。进行了广泛的实验,以表明我们的方法取得了与最先进的非盲人脱毛作品相提并论的结果。
translated by 谷歌翻译
现代监视系统使用基于深度学习的面部验证网络执行人员认可。大多数最先进的面部验证系统都是使用可见光谱图像训练的。但是,在弱光和夜间条件的情况下,在可见光谱中获取图像是不切实际的,并且通常在诸如热红外域之类的替代域中捕获图像。在检索相应的可见域图像后,通常在热图像中进行面部验证。这是一个公认的问题,通常称为热能(T2V)图像翻译。在本文中,我们建议针对面部图像的T2V翻译基于Denoising扩散概率模型(DDPM)解决方案。在训练过程中,该模型通过扩散过程了解了它们相应的热图像,可见面部图像的条件分布。在推断过程中,可见的域图像是通过从高斯噪声开始并反复执行的。 DDPM的现有推理过程是随机且耗时的。因此,我们提出了一种新颖的推理策略,以加快DDPM的推理时间,特别是用于T2V图像翻译问题。我们在多个数据集上实现了最新结果。代码和验证的模型可在http://github.com/nithin-gk/t2v-ddpm上公开获得
translated by 谷歌翻译
在这项工作中,我们提出了一个框架,用于部署的无人驾驶汽车(UAV)的便携式接入点(PAP),以服务于一组接地节点(GNS)。除PAP和GNS外,该系统还由安装在人造结构上的一组智能反射表面(IRS)组成,以增加每焦耳的能源消耗的钻头数量,这些能量消耗被测量为全球能源效率(GEE)。 PAP的GEE轨迹是通过考虑UAV推进能量消耗和PAP电池的PEUKERT效应来设计的,PAP电池代表了精确的电池放电曲线作为无人机功耗概况的非线性功能。 GEE轨迹设计问题分为两个阶段:在第一个阶段,使用多层圆形填料方法找到了PAP的路径和可行位置,并使用替代方案计算所需的IRS相移值优化方法考虑了IRS元素的幅度和相位响应之间的相互依赖性;在第二阶段,使用新型的多轨迹设计算法计算PAP飞行速度和用户调度。数值评估表明:忽略Peukert效应高估了PAP的可用飞行时间;一定的阈值后,增加电池尺寸会减少PAP的可用飞行时间;与其他基线场景相比,IRS模块的存在改善了系统的GEE。与使用顺序凸编程和Dinkelbach算法的组合开发的单圈轨迹相比,多圈轨迹可节省更多的能量。
translated by 谷歌翻译
在这项工作中,我们研究了一个无人驾驶系统(UAS)的可靠性和投资成本之间的权衡,该系统由一组携带无线电节点的无人机(UAVS)组成,称为Portable Access Points(PAPS)),部署以服务一组地面节点(GNS)。使用所提出的算法,给定的地理区域等效地表示为一组圆形区域,其中每个圆表示PAP的覆盖区域。然后,通过将其建模为连续的时间出生死亡马尔可夫决策过程(MDP),可以在分析上得出UAS的稳态可用性。数值评估表明,可以通过考虑GN的交通需求和分配来降低保证给定稳态可用性的投资成本。
translated by 谷歌翻译
多参数磁共振成像(MPMRI)在检测前列腺癌病变中的作用越来越大。因此,解释这些扫描的医学专业人员通过使用计算机辅助检测系统来减少人为错误的风险。但是,系统实施中使用的各种算法产生了不同的结果。在这里,我们研究了每个前列腺区域的最佳机器学习分类器。我们还发现了明显的功能,以阐明模型的分类原理。在提供的数据中,我们收集并增强了T2加权图像和明显的扩散系数MAP图像,以首先通过三阶统计特征提取作为机器学习分类器的输入。对于我们的深度学习分类器,我们使用卷积神经网(CNN)体系结构进行自动提取和分类。通过显着映射以了解内部的分类机制,可以改善CNN结果的可解释性。最终,我们得出的结论是,有效检测周围和前纤维肌间基质(AS)病变更多地取决于统计分布特征,而过渡区(TZ)的病变更多地取决于纹理特征。合奏算法最适合PZ和TZ区域,而CNN在AS区域中最好。这些分类器可用于验证放射科医生的预测,并减少怀疑患有前列腺癌的患者的阅读差异。还可以进一步研究这项研究中报告的显着特征,以更好地了解使用mpMRI的前列腺病变的隐藏特征和生物标志物。
translated by 谷歌翻译
尽管许多远程成像系统旨在支持扩展视力应用,但由于大气湍流,其操作的自然障碍是退化。大气湍流通过引入模糊和几何变形而导致图像质量的显着降解。近年来,在文献中提出了各种基于深度学习的单图像缓解方法,包括基于CNN的基于CNN和基于GAN的反转方法,这些方法试图消除图像中的失真。但是,其中一些方法很难训练,并且通常无法重建面部特征并产生不切实际的结果,尤其是在高湍流的情况下。降级扩散概率模型(DDPM)最近由于其稳定的训练过程和产生高质量图像的能力而获得了一些吸引力。在本文中,我们提出了第一个基于DDPM的解决方案,用于缓解大气湍流问题。我们还提出了一种快速采样技术,用于减少条件DDPM的推理时间。对合成和现实世界数据进行了广泛的实验,以显示我们模型的重要性。为了促进进一步的研究,在审查过程之后,所有代码和验证的模型都将公开。
translated by 谷歌翻译